阿里+北大|在梯度上做简单mask竟有如此的神奇效果

每天给你送来NLP技术干货&＃xff01;

paper: Raise a Child in Large Language Model: Towards Effective and Generalizable Fine-tuning

link: https://arxiv.org/pdf/2109.05687.pdf

去年让我印象最深刻的应该就是RDrop和这篇了&＃xff0c;趁着晚上有时间&＃xff0c;就来简单的说下这篇文章。

总体说一下

由于预训练模型的兴起&＃xff0c;最近的研究很多投身于如何在不遗忘预训练模型的参数的同时&＃xff0c;又能学到新的下游任务的finetune的方法。比如Henry Gouk提出的distance-based的方法&＃xff0c;将finetune学习到的参数控制在原始预训练参数一个球形范围内&＃xff1b;哈工大的Sanyuan Chen在EMNLP也提出了recall and learn的方法&＃xff0c;即边预训练边学习下游任务的方法&＃xff0c;并提出了RecAdam新的算法。

本文的方法采用了更为巧妙地方法&＃xff0c;通过mask掉部分梯度来防止更新过度从而导致原始的预训练信息的遗忘&＃xff0c;有点像在反向传播中使用前向传播的dropout的方法&＃xff0c;巧也&＃xff0c;妙也。并在实验中得出普遍比普通finetune方法还要高出1.5~8.6%的性能&＃xff0c;也比前人改进的finetune方法高出0.6~1.3个点。

很好在自己的实验上进行落地&＃xff0c;所以给大家推荐一下。

两种实验方法

如下图的算法所示&＃xff0c;不要被算法吓到&＃xff0c;很简单的&＃xff0c;总结起来就是通过某个方法找到需要没有被mask的梯度节点&＃xff08;这里叫做child&＃xff09;&＃xff0c;然后生成0-1mask矩阵&＃xff0c;和原来梯度乘就完成了更新与不更新的操作了。

那么如何选取哪些梯度不更新&＃xff0c;作者提出两种方法&＃xff1a;

1. task-free方法&＃xff0c;即随便mask梯度

2. task-driven方法&＃xff0c;即需要根据不同任务来决定mask哪些梯度
   

第一种为完全类似dropout一样的&＃xff0c;随机选取部分梯度节点进行mask&＃xff0c;不参与梯度更新&＃xff0c;说点学术化点就是服从伯努利分布&＃xff1a;

其中p_f为保留率&＃xff0c;当其为1时就是所有都保留&＃xff0c;都不mask&＃xff0c;就是普通的finetune了。其中&＃xff0c;当mask完后&＃xff0c;要对保留下来的梯度进行放大1/p_f倍的操作&＃xff08;类似dropout吧~&＃xff09;。

虽然听起来这个随机的方法很简单&＃xff0c;但值得注意的是&＃xff0c;这个证明其有效的过程需要好好学学和看看的&＃xff0c;这里说下最终结论&＃xff1a;

这种随机mask的方法&＃xff0c;有助于损失跳出局部最优&＃xff0c;跳出鞍点&＃xff0c;鼓励模型寻找更为平坦的局部最优面。

另一种方法为基于任务相关的mask方法&＃xff0c;这里采用的FIM方法&＃xff08;Fisher Information Matrix&＃xff09;&＃xff0c;即对每一个梯度平方的期望&＃xff1a;

求它在每一个样本的均值的梯度&＃xff1a;

这个梯度越大&＃xff0c;那么就表示这个梯度节点对该任务就格外重要&＃xff0c;相反越不重要的就越要mask了。其中mask的比率就是选择topk的方法一样。

实验

这两种方法和普通finetune方法在4种预训练模型中的性能比较&＃xff1a;

上面为主要试验&＃xff0c;但感觉为了论文的充分性吧&＃xff0c;作者又讨论了该方法的领域泛化性&＃xff1a;

除此之外&＃xff0c;还讨论了任务的泛化性&＃xff1a;

都还是挺不错的。

和以往的前沿方法对比&＃xff0c;更能体现出其有效性&＃xff1a;

最后还做了在目前比较火的低资源情况下的性能分析&＃xff1a;

这篇文章还是很不错的&＃xff0c;不光是方法&＃xff0c;更是学习如何将一个十分简单的idea写成故事&＃xff08;8页论文&＃xff09;的能力。

学习道路长且艰&＃xff0c;与君共勉。

下载一&＃xff1a;中文版&＃xff01;学习TensorFlow、PyTorch、机器学习、深度学习和数据结构五件套&＃xff01;  后台回复【五件套】
下载二&＃xff1a;南大模式识别PPT  后台回复【南大模式识别】

投稿或交流学习&＃xff0c;备注&＃xff1a;昵称-学校&＃xff08;公司&＃xff09;-方向&＃xff0c;进入DL&NLP交流群。

方向有很多&＃xff1a;机器学习、深度学习&＃xff0c;python&＃xff0c;情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

整理不易&＃xff0c;还望给个在看&＃xff01;